A universal kernel is constructed whose sections approximate any causal and time-invariant filter in the fading memory category with inputs and outputs in a finite-dimensional Euclidean space. This kernel is built using the reservoir functional associated with a state-space representation of the Volterra series expansion available for any analytic fading memory filter. It is hence called the Volterra reservoir kernel. Even though the state-space representation and the corresponding reservoir feature map are defined on an infinite-dimensional tensor algebra space, the kernel map is characterized by explicit recursions that are readily computable for specific data sets when employed in estimation problems using the representer theorem. We showcase the performance of the Volterra reservoir kernel in a popular data science application in relation to bitcoin price prediction.

储层计算系统是使用驱动的动力系统构建的，在该系统中，外部输入可以改变系统的发展状态。这些范例用于信息处理，机器学习和计算。在此框架中需要解决的一个基本问题是输入与系统状态之间的统计关系。本文提供的条件可以保证驱动系统的渐近措施的存在和唯一性，并表明当输入和输出过程的集合赋予了Wasserstein距离时，它们对输入过程的依赖性是连续的。这些发展中的主要工具是将这些不变的度量表征为在这种情况下出现并在论文中进行了大量研究的自然定义的FOIA算子的固定点。这些固定点是通过在驱动系统中施加新引入的随机状态合同性来获得的，该系统在示例中很容易验证。可以通过非国家缩减的系统来满足随机状态的合同性，这通常是为了保证储层计算中的回声状态属性的需求。结果，即使不存在Echo State属性，也可能会得到满足。

State-of-the-art pre-trained language models (PLMs) outperform other models when applied to the majority of language processing tasks. However, PLMs have been found to degrade in performance under distribution shift, a phenomenon that occurs when data at test-time does not come from the same distribution as the source training set. Equally as challenging is the task of obtaining labels in real-time due to issues like long-labeling feedback loops. The lack of adequate methods that address the aforementioned challenges constitutes the need for approaches that continuously adapt the PLM to a distinct distribution. Unsupervised domain adaptation adapts a source model to an unseen as well as unlabeled target domain. While some techniques such as data augmentation can adapt models in several scenarios, they have only been sparsely studied for addressing the distribution shift problem. In this work, we present an approach (MEMO-CL) that improves the performance of PLMs at test-time under distribution shift. Our approach takes advantage of the latest unsupervised techniques in data augmentation and adaptation to minimize the entropy of the PLM's output distribution. MEMO-CL operates on a batch of augmented samples from a single observation in the test set. The technique introduced is unsupervised, domain-agnostic, easy to implement, and requires no additional data. Our experiments result in a 3% improvement over current test-time adaptation baselines.

Age-related macular degeneration (AMD) is a degenerative disorder affecting the macula, a key area of the retina for visual acuity. Nowadays, it is the most frequent cause of blindness in developed countries. Although some promising treatments have been developed, their effectiveness is low in advanced stages. This emphasizes the importance of large-scale screening programs. Nevertheless, implementing such programs for AMD is usually unfeasible, since the population at risk is large and the diagnosis is challenging. All this motivates the development of automatic methods. In this sense, several works have achieved positive results for AMD diagnosis using convolutional neural networks (CNNs). However, none incorporates explainability mechanisms, which limits their use in clinical practice. In that regard, we propose an explainable deep learning approach for the diagnosis of AMD via the joint identification of its associated retinal lesions. In our proposal, a CNN is trained end-to-end for the joint task using image-level labels. The provided lesion information is of clinical interest, as it allows to assess the developmental stage of AMD. Additionally, the approach allows to explain the diagnosis from the identified lesions. This is possible thanks to the use of a CNN with a custom setting that links the lesions and the diagnosis. Furthermore, the proposed setting also allows to obtain coarse lesion segmentation maps in a weakly-supervised way, further improving the explainability. The training data for the approach can be obtained without much extra work by clinicians. The experiments conducted demonstrate that our approach can identify AMD and its associated lesions satisfactorily, while providing adequate coarse segmentation maps for most common lesions.

由于监督模型无法学习可以在具有有限标签的域中概括的域名，因此自我监督学习（SSL）已成为计算机视觉中的理想范式。 SSL的最新流行导致了几种模型的开发，这些模型利用了不同的培训策略，架构和数据扩展政策，而没有现有的统一框架来研究或评估其在转移学习中的有效性。我们提出了一个数据驱动的几何策略，可以使用每个局部诱导的特征空间中的局部邻域分析不同的SSL模型。与考虑参数，单个组件或优化领域的数学近似的现有方法不同，我们的工作旨在探索SSL模型所学的表示歧管的几何特性。我们提出的歧管图指标（MGM）提供了有关可用SSL模型之间的几何相似性和差异的见解，它们在特定的增强方面的不变以及它们在转移学习任务方面的表现。我们的关键发现是两个方面：（i）与普遍的看法相反，SSL模型的几何形状与其训练范式（对比度，无对比性和基于群集）无关； （ii）我们可以根据其语义和增强歧管的几何特性来预测特定模型的传输学习能力。

机器学习中的模型选择（ML）是贝叶斯学习程序的关键部分。模型选择可能会对由此产生的预测施加强大的偏见，这可能会阻碍贝叶斯神经网络和神经采样器等方法的性能。另一方面，贝叶斯ML的新提出的方法具有隐式随机过程（高斯过程的概括）的功能空间中近似推断的特征。在这方面，稀疏隐式过程（SIP）的方法特别成功，因为它是完全可训练的，并且可以实现灵活的预测。在这里，我们扩展了原始实验，以表明当数据生成机制与模型所隐含的机制大不相同时，SIP能够纠正模型偏差。我们使用合成数据集证明SIP能够提供预测性分布，这些分布比初始模型的初始模型的确切预测更好地反映了数据。

可靠的概括是安全ML和AI的核心。但是，了解神经网络何时以及如何推广仍然是该领域最重要的未解决问题之一。在这项工作中，我们进行了一项广泛的实证研究（2200个模型，16个任务），以研究计算理论中的见解是否可以预测实践中神经网络概括的局限性。我们证明，根据Chomsky层次结构进行分组任务使我们能够预测某些架构是否能够推广到分布外输入。这包括负面结果，即使大量数据和训练时间也不会导致任何非平凡的概括，尽管模型具有足够的能力完美地适合培训数据。我们的结果表明，对于我们的任务子集，RNN和变形金刚无法概括非规范的任务，LSTMS可以解决常规和反语言任务，并且只有通过结构化内存（例如堆栈或存储器磁带）可以增强的网络可以成功地概括了无上下文和上下文敏感的任务。

尽管机器人可以在大量隔离任务上熟练，但在现实的动态环境中的机器人部署是一个具有挑战性的问题。原因之一是机器人很少配备强大的内省能力，这意味着他们不能总是以合理的方式处理失败。此外，手动诊断通常是一项繁琐的任务，需要技术人员具有相当多的机器人技能。在本文中，我们讨论了我们正在进行的努力 - 在Ropod项目的背景下 - 解决其中一些问题。特别是，我们（i）提出了我们早期开发机器人黑匣子的早期努力，并考虑一些使其设计复杂的因素，（ii）解释我们的组件和系统监控概念，（iii）将远程监控和实验的必要性描述为以及我们最初的执行这些尝试。我们的初步工作打开了一系列有希望的方向，使机器人在实践中更可用和可靠 - 不仅在Ropod的背景下，而且在更一般的意义上也是如此。

这项工作提供了几种网络密码算法的调查，并提出了一种将自然语言处理（NLP）作为保护剂的保护剂的方法。涵盖了在网络中使用NLP的两个主要建议。首先，NLP被认为是网络加密模型中最弱的链接。其次，当将被认为是强大的加密类型的额外层结合在一起时，作为一种巨大的威慑力 - 流密封器。本文总结了如何将语言集成到对称加密中，以协助加密易受伤害的流，这些流由于本地语言流中字母或单词的固有频率分布而在攻击下可能会被攻击。

隐式过程（IP）是高斯过程（GPS）的概括。 IP可能缺乏封闭形式的表达，但很容易采样。例子包括贝叶斯神经网络或神经抽样器。 IP可以用作功能的先验，从而产生具有良好预测不确定性估计值的灵活模型。基于IP的方法通常进行函数空间近似推断，从而克服了参数空间近似推断的一些困难。然而，所采用的近似值通常会限制最终模型的表现力，结果是\ emph {e.g。}，在高斯预测分布中，这可能是限制的。我们在这里提出了IPS的多层概括，称为“深层隐式”过程（DVIP）。这种概括与GPS上的深GPS相似，但是由于使用IPs作为潜在函数的先前分布，因此更灵活。我们描述了用于训练DVIP的可扩展变异推理算法，并表明它的表现优于先前的基于IP的方法和深度GPS。我们通过广泛的回归和分类实验来支持这些主张。我们还在大型数据集上评估了DVIP，最多可达数百万个数据实例，以说明其良好的可扩展性和性能。